Realiz3D: 3D Generation Made Photorealistic via Domain-Aware Learning
Realiz3D:通过域感知学习实现照片级真实3D生成
🧭 解耦域与控制,缩小合成到真实域差距
解耦控制信号与视觉域,引入域协变量适配器,在保持真实感的同时实现3D可控生成
📌 工作参考价值(4 点)
- 商品图生成中,使用合成3D数据微调扩散模型时,可通过解耦控制信号(如视角、材质)与域指示符,避免生成图像变得“像渲染图”,保持照片级真实感。
- 引入可学习的残差适配器来编码域信息,是一种轻量多域融合方案,电商场景下可复用:一个基座模型,通过切换适配器生成不同风格(写实、插画、3D渲染等)。
- 针对扩散模型不同层和去噪步骤的分析启示:早期步骤负责全局结构,后期步骤聚焦纹理细节,可将几何控制注入深层,材质控制注入浅层,从而在不牺牲真实性的前提下提升可控性。
- 推理时可通过调整域适配器的权重,平滑插值于合成与真实域之间,实现可控的风格迁移,用于商品背景替换或虚拟试穿场景。